Bajo la dirección del profesor Jorge Calero, el lector tiene en sus manos un Manual de evaluación de políticas públicas en materia de discapacidad, que ha sido promovido por la Fundación ONCE y el CERMI. Se trata de un trabajo muy útil para los directivos sociales, para los profesionales de la evaluación social y, en general, para los que en la jerga inglesa se denomina como “practitioners” o profesionales usuarios de las evaluaciones como herramienta de mejora de la realidad social, en este caso para la mejora del bienestar de las personas con discapacidad. 

 

El trabajo está rigurosamente ordenado y combina con gran equilibrio la estructura lógica de la evaluación en torno a una matriz en la que se combina la teoría fundante, las preguntas obligadas para un evaluador, las tareas a desarrollar por un equipo de evaluación y ejemplos prácticos que iluminan los anteriores pasos. 

 

Tal como lo conciben los autores, el manual es una herramienta que guía la evaluación de las intervenciones sociales en el ámbito de la discapacidad. Intervenciones que pueden realizar el sector público, el sector privado o ambos de manera conjunta. Si bien se trata de una herramienta pragmática, el usuario del manual o herramienta está acompañado de una teoría potente que ilumina el proceso de evaluación dándole sentido y orientación, pues de lo que se trata es de mejorar las condiciones generales de accesibilidad de las personas con discapacidad a la educación, al empleo, a los servicios colectivos y, en general, a los recursos de la sociedad. 

 

Pero además de ofrecer una herramienta versátil, el trabajo contribuye a consolidar una cultura de evaluación que, con sus dificultades, se ha ido abriendo paso a lo largo de los últimos decenios. Las exigencias de evaluación de programas financiados por el Fondo Social Europeo, las propias exigencias de las políticas públicas, la necesidad creciente de transparencia y rendición de cuentas son factores, entre otros, que están detrás de la exigencia de la evaluación que hace años era, sobre todo, de procesos y de resultados o rendimiento y, en los últimos años, se centra cada vez más en los impactos finales (outcomes), en la mejora de la capacidad institucional y de las habilidades de las personas y en la sostenibilidad de los programas y acciones, no solo en su dimensión financiera sino también, y sobre todo, en su capacidad para transformar la realidad a largo plazo, lo que supone hacer de la efectividad de las acciones el eje orientador de las políticas. 

 

Los autores, para elaborar el manual, se han basado tanto en su larga experiencia profesional e investigadora como en la experiencia general, la revisión del acervo evaluativo y en la consulta a una muestra cualitativa de personas expertas. 

 

El manual construye una matriz de evaluación que recorre todo el proceso de evaluación. Dicha matriz (desarrollada en el capítulo 3: ¿Cómo diseñar la evaluación?) se basa en la construcción de criterios de evaluación, formulación de preguntas relevantes y obtención y análisis de la información (capítulos 4 y 5), para concluir con la presentación de resultados y las necesarias recomendaciones al que encarga la evaluación sobre cómo aprovechar la misma para cambiar y mejorar la realidad. El ejemplo de formato de una matriz viene reflejado en la figura 1.2. 

 

En cada ámbito de la evaluación –criterios, preguntas, análisis de la información y presentación de resultados– nos encontramos con una misma estructura de apoyo a la lectura y análisis de la herramienta que se nos ofrece: una presentación del estado de la cuestión o problemas teóricos, qué preguntas hemos de hacernos que sean relevantes para los objetivos, las tareas que se sugieren al equipo de evaluación y un ejemplo práctico que ilustra el proceso. Referente a este último, el manual utiliza en el caso de las políticas públicas el ejemplo de la “política de empleo con apoyo” que se reguló en 2007. El hecho de que se utilicen los mismos ejemplos a lo largo de la presentación de la herramienta permite al lector no perderse en las fases de la evaluación e ir acumulando riqueza de conocimiento a lo largo de todo el proceso de evaluación. 

 

Dos dimensiones de la herramienta de evaluación que es preciso destacar son: la perspectiva de género, en la medida que en las personas con discapacidad tiene una especial incidencia y, por otra parte, la multiplicidad de actores que participan en las políticas e intervenciones sociales. 

 

Los capítulos 3 (construcción de la matriz de la evaluación), 4 (criterios de evaluación) y 5 (captación y análisis de la información) constituyen el corpus central de la herramienta y, de manera particular, el capítulo 4. En efecto, la evaluación no puede ser totalmente abierta, precisa de un foco o dimensiones a evaluar y de un alcance o intensidad de la misma ya que, como afirman los autores, “no se puede evaluar todo en todos los casos” y al final hay que ser tan pragmáticos como sensibles a la trascendencia social de la evaluación, además de las limitaciones obvias de recursos económicos y humanos que se pueden aplicar en una evaluación determinada. 

 

Toda evaluación tiene que tener una justificación, es decir, ser pertinente y oportuna, debe ser coherente tanto externa como internamente, debe tener una lógica que comprenda el problema a evaluar, los recursos que se van a destinar a un programa, las actividades a evaluar y sus resultados esperados así como el impacto o logro de los objetivos. Y, además, debe ser complementaria con otras intervenciones y programas que pueden iluminar y mejorar el proceso de evaluación. 

 

Los autores, siguiendo en esto la experiencia acumulada en evaluación de políticas, dan una gran importancia a los criterios de eficacia (resultados), eficiencia (logro de objetivos al mínimo coste) y efectividad (impacto de las políticas e intervenciones a largo plazo o de impacto neto), al que se añade el criterio de sostenibilidad, que es de gran relevancia, es decir, si un programa es capaz de provocar no solo el logro de unos impactos sociales inmediatos sino, además, la capacidad para estructurar y transformar la realidad, como antes hemos señalado. Estos criterios se completan con el criterio de una buena y eficaz gobernanza que sea favorable a la participación de los actores sociales y a la transparencia de la política o acción desarrollada. 

 

También es de destacar por su dimensión práctica el capítulo 5 sobre cómo obtener y analizar la información y los indicadores que existen sobre la misma que sean objetivos, precisos, específicos, sensibles, consistentes, claros, disponibles y fiables; completado con el análisis de diferentes fuentes de información y la exposición de diferentes técnicas (cuantitativas) y prácticas (cualitativas) mediante las que en sí mismas o combinadas entre sí se puede abordar el análisis y comprensión de la realidad. 

 

Para finalizar, los autores destacan la importancia que en toda evaluación deben tener las conclusiones y las recomendaciones al gestor público o directivo social con el fin de traducir la evaluación en modos de cambio y mejora. Además, es necesario difundir el informe de evaluación y abrir el debate a los actores interesados e incluso al mundo de la investigación social, no sólo como exigencia de transparencia sino también como vía para mejorar la calidad final del propio informe de evaluación. 

 

Por todo ello hay que agradecer a los autores el esfuerzo realizado para lograr un resultado o producto final en que se combina con pericia el rigor y la claridad. Una herramienta que merece el esfuerzo de su difusión en el mundo de las políticas sociales, no solo para darla a conocer sino para ampliar el campo social del debate sobre la evaluación de políticas sociales. La evaluación de las políticas sociales es central en la actualidad y seguirá ganando espacio en los años venideros tanto por la aplicación de políticas de austeridad, en gran medida ciegas y sin prever sus consecuencias sociales, como por la propia auto-exigencia de rigor analítico por parte del sector social en conocer qué avances logramos en bienestar e integración social de las personas con discapacidad.